home *** CD-ROM | disk | FTP | other *** search
/ Light ROM 4 / Light ROM 4 - Disc 1.iso / text / maillist / 1995 / 0295.doc / 000081_owner-lightwave-l _Mon Feb 6 09:19:50 1995.msg < prev    next >
Internet Message Format  |  1995-03-19  |  4KB
  1. Return-Path: <owner-lightwave-l>
  2. Received: by netcom23.netcom.com (8.6.9/Netcom)
  3.     id IAA05922; Mon, 6 Feb 1995 08:40:45 -0800
  4. Received: from msupa.pa.msu.edu by netcom23.netcom.com (8.6.9/Netcom)
  5.     id IAA05910; Mon, 6 Feb 1995 08:40:41 -0800
  6. From: LAMBERT_R@msupa.pa.msu.edu
  7. Date: Mon, 6 Feb 1995 11:41:45 -0500 (EST)
  8. To: lightwave-l@netcom.com
  9. Message-Id: <950206114145.21607a6d@msupa.pa.msu.edu>
  10. Subject: character speech
  11. Sender: owner-lightwave-l@netcom.com
  12. Precedence: bulk
  13.  
  14. Ernie Wright wrote:
  15.  
  16. >I haven't written any semi-relevant semi-science in this space in a
  17. >while, so here goes.
  18.  
  19. >A lot of linguistics texts have sagittal section diagrams (side-view
  20. >line drawings of the nose, lips, tongue and throat) that show how most
  21. >phonemes (language sounds) are created.  It would be pretty cool to
  22. >make versions of a talking object model for each phoneme, then write
  23. >a program that could read words, translate them into phoneme sequences,
  24. >and write a scene file with the corresponding chain of morph targets.
  25.  
  26. >Similar things have been done, but as far as I know they're not readily
  27. >available to animators.  If there's someone out there with the time and
  28. >the background (I'm a little short on both), she might want to give
  29. >this some thought.
  30.  
  31. To Ernie and anyone else who is interested in character speech:
  32.   I am currently developing an "affordable" 3D paint application but before 
  33. I started this project I did some preliminary work on a program that would 
  34. provide the basic features that Ernie has mentioned.  I intend to return to 
  35. this project as soon as I get my 3D paint package working but realize that 
  36. someone may beat me to it!  So hear's a freebie if you want it. After 
  37. having thought about this for a while I decided that the best approach to 
  38. converting speech to character animation was by making a digital recording 
  39. of your character's lines.  Then design your program such that it analyzes 
  40. your sound file in time steps that correspond to single frame steps.  The 
  41. aim is to determine what phoneme is most likely being pronounced during that 
  42. frame and with what intensity.  Use this data to write a bones envelope for 
  43. the entire scene.  I realize that using bones might not be the best 
  44. approach and one of the reasons that I haven't all ready written this 
  45. program is that I haven't had a chance to use bones yet.  However it would 
  46. not be to difficult to have the program create morph targets from your 
  47. original character.  This will give you not only correctly timed mouth 
  48. movement but also the proper deformation of the mouth.
  49.   I don't know if this is simular to the approach that other people have 
  50. used, though I suspect it is!  It just seems to me that this would be the 
  51. way to approach this problem since you could simply record your voice actor 
  52. and then run the application on it and within a few minutes have an accurate 
  53. talking character.
  54.   If this process sounds a lot like voice recognition then I should point 
  55. out that it is really not even close.  Since you are only trying to best 
  56. guess the most likely phoneme at any frame the worst thing that could happen 
  57. is that you get the wrong phoneme sometimes but you can use an averaging 
  58. process to weed  these mistakes out since the human mouth is incapable of 
  59. producing phonemes in a 1/30 of a second.  You will always get the mouth to 
  60. open at the right time and to the proper width just from the time averaged 
  61. intensity for each frame.  In fact I'm sure there are people on this list 
  62. that could write a program that would open and close a character's mouth in a 
  63. few days.  
  64.   I'm hoping that enough people would express an interest to me for either 
  65. an affordable 3D paint package or the voice synchronization software such 
  66. that I would feel justified in working on them full time.  I think they 
  67. would be really useful tools but I honestly don't know how many other 
  68. people are really interested in these products.  Well I hope to hear from 
  69. some of you about these topics.
  70.  
  71. Rod Lambert              lambert_r@msupa.pa.msu.edu
  72.